一.介紹:
在這個資訊爆炸的時代,在網路上隨機搜尋一個名詞都會跳出好幾個結果,人的時間與處理能力往往沒辦法將這些資料好好的吸收、整理,這時候網路爬蟲就派上用場了,網路爬蟲利用HTTP Request 抓取網路資料,只要設定好動作,網路爬蟲就會一直重複執行動作瀏覽網頁,並且收集、送出使用者需要的資料
二.網路爬蟲的應用:
1.分析時事與大眾意向:網路爬蟲可以取得社群網站上的內容,了解大眾所關注的事件,與分析大眾的意見,對於選舉、 投資來說會是非常方便的統計資料
2.分析股市:網路爬蟲可以有效率收集股市走向資料,幫助使用者分析股市
↑現在使用網路爬蟲來分析資料的平台已經非常多,功能也十分多種,分析文字、圖片、訂票...等等非常的廣泛
三.網路爬蟲該注意的事:
因為大量且快速地瀏覽網頁常常會導致伺服器負擔過重,所以很多伺服器會限制連線來避免遭受網路爬蟲攻擊,而限制的方法也有所不同,因此在製作網路爬蟲的時候務必要遵守各個伺服器的規則,才不會造成別人的困擾,甚至惹禍上身